除了在经典图像压缩编解码器上实现较高的压缩效率外，还可以通过其他侧面信息（例如，从同一场景的不同角度）改进深层图像压缩。为了更好地利用分布式压缩方案下的侧面信息，现有方法（Ayzik和Avidan 2020）仅在图像域上实现匹配的补丁，以解决由查看点差异引起的视差问题。但是，在图像域上匹配的补丁匹配对由不同的视角引起的比例，形状和照明的差异并不强大，也无法充分利用侧面信息图像的丰富纹理信息。为了解决此问题，我们建议在分布式图像压缩模型的解码器上充分利用多尺度特征域贴片匹配（MSFDPM）。具体而言，MSFDPM由侧面信息特征提取器，多尺度特征域补丁匹配模块和多尺度特征融合网络组成。此外，我们重复使用从浅层层进行斑点相关性，以加速深层的贴片匹配。最后，我们认为，与图像域（Ayzik和Avidan 2020）的贴片匹配方法相比，在多尺度特征域中的匹配进一步提高了压缩率约20％。
translated by 谷歌翻译
随着处理点云数据中深度学习的繁荣，最近的作品表明，后门攻击对3D视觉应用构成了严重的安全威胁。攻击者通过用触发器中毒一些训练样本将后门注射到3D模型中，从而使后门模型在干净的样品上表现良好，但在出现扳机模式时会恶意行为。现有的攻击通常将一些附加点插入点云中，或使用线性转换（例如旋转）来构建中毒点云。但是，这些中毒样品的影响可能会被某些常用的3D点云的常用预处理技术削弱，甚至可以消除，例如，离群的去除或旋转增强。在本文中，我们提出了一种新颖的觉得不可察觉，强大的后门攻击（IRBA）来应对这一挑战。我们利用一种称为加权局部变换（WLT）的非线性和局部变换来构建具有独特转换的中毒样品。由于WLT中有几种超参数和随机性，因此很难产生两个类似的转换。因此，具有独特转化的中毒样品可能对上述预处理技术有抵抗力。此外，由于由固定的WLT引起的失真的可控性和平滑度，因此生成的中毒样品也无法察觉到人类检查。在三个基准数据集和四个模型上进行的广泛实验表明，即使使用预处理技术，IRBA在大多数情况下都可以达到80％+ ASR，这显着高于以前的最新攻击。
translated by 谷歌翻译
2022-08-07
图像表示对于许多视觉任务至关重要。最近的一项研究，即局部隐式图像函数（LIIF），而不是用2D阵列代替图像，而是将图像表示为连续函数，其中像素值是通过使用相应的坐标作为输入来扩展的。由于其连续的性质，可以为任意规模的图像超分辨率任务采用LIIF，从而为各种提高因素提供了一个有效和有效的模型。但是，Liif通常遭受边缘周围的结构扭曲和响起的伪影，主要是因为所有像素共享相同的模型，因此忽略了图像的局部特性。在本文中，我们提出了一种新颖的自适应局部图像功能（A-LIIF）来减轻此问题。具体而言，我们的A-LIIF由两个主要组成部分组成：编码器和扩展网络。前者捕获了跨尺度的图像特征，而后者通过多个局部隐式图像函数的加权组合进行了连续升级函数。因此，我们的A-LIIF可以更准确地重建高频纹理和结构。多个基准数据集的实验验证了我们方法的有效性。我们的代码可在\ url {https://github.com/leehw-thu/a-liif}上找到。
translated by 谷歌翻译
目前，深度神经网络（DNN）在不同的应用中被广泛采用。尽管具有商业价值，但培训良好的DNN仍在资源消费。因此，训练有素的模型是其所有者的宝贵知识产权。但是，最近的研究揭示了模型窃取的威胁，即使他们只能查询模型，对手也可以获得受害者模型的功能相似的副本。在本文中，我们提出了一个有效且无害的模型所有权验证（移动），以防御不同类型的模型窃取，而无需引入新的安全风险。通常，我们通过验证可疑模型是否包含辩护人指定的外部特征的知识来进行所有权验证。具体而言，我们通过将一些训练样本带来样式转移来嵌入外部功能。然后，我们训练一个元分类器，以确定模型是否被受害者偷走了。这种方法的灵感来自于理解，即被盗模型应包含受害者模型学到的功能的知识。特别是，我们在白色框和黑框设置下开发了移动方法，以提供全面的模型保护。基准数据集的广泛实验验证了我们方法的有效性及其对潜在适应性攻击的抵抗力。复制我们方法的主要实验的代码可在\ url {https://github.com/thuyimingli/move}上获得。
translated by 谷歌翻译
深度神经网络（DNN）的安全性因其在各种应用中的广泛使用而引起了人们的关注。最近，已被部署的DNN被证明容易受到特洛伊木马攻击的影响，该攻击操纵模型参数，以钻头翻转以注入隐藏的行为并通过特定的触发模式激活它。但是，所有现有的特洛伊木马攻击都采用了明显的基于补丁的触发器（例如，正方形模式），使其对人类可感知，并且很容易被机器发现。在本文中，我们提出了一种新颖的攻击，即几乎不可感知的特洛伊木马攻击（HPT）。 HPT通过利用添加噪声和每个像素流场来分别调整原始图像的像素值和位置，几乎无法察觉到可感知的特洛伊木马图像。为了实现卓越的攻击性能，我们建议共同优化位挡板，加性噪声和流场。由于DNN的重量位是二进制的，因此很难解决此问题。我们通过等效替换处理二进制约束，并提供有效的优化算法。关于CIFAR-10，SVHN和Imagenet数据集的广泛实验表明，所提出的HPT可以生成几乎不可感知的特洛伊木马图像，同时与先进的方法相比实现了可比或更好的攻击性能。该代码可在以下网址获得：https：//github.com/jiawangbai/hpt。
translated by 谷歌翻译
现实世界的识别系统在实践中经常遇到许多看不见的标签。为了识别这种看不见的标签，多标签的零光学习（ML-ZSL）着重于通过预先训练的文本标签嵌入（例如，手套）传输知识。但是，这种方法仅利用语言模型利用单极知识，同时忽略了图像文本对固有的丰富语义信息。取而代之的是，最近开发的基于开放式摄影的方法（OV）方法成功地利用了对象检测中图像文本对的此类信息，并实现了令人印象深刻的性能。受基于OV的方法的成功启发，我们提出了一个新型的开放式视频框架，称为多模式知识转移（MKT），用于多标签分类。具体而言，我们的方法利用基于视觉和语言预处理（VLP）模型的图像文本对的多模式知识。为了促进VLP模型的Imagetext匹配能力，使用知识蒸馏来保证图像和标签嵌入的一致性以及及时调整以进一步更新标签嵌入。为了进一步识别多个对象，开发了一个简单但有效的两流模块，以捕获本地和全局功能。广泛的实验结果表明，我们的方法在公共基准数据集上的表现明显优于最先进的方法。代码将在https://github.com/seanhe97/mkt上找到。
translated by 谷歌翻译
作为一个新兴的安全学习范式，在利用跨机构私人数据中，垂直联合学习（VFL）有望通过启用广告商和发布者私人拥有的补充用户属性的联合学习来改善广告模型。但是，将其应用于广告系统有两个关键的挑战：a）标记的重叠样本的有限规模，b）实时跨机构服务的高成本。在本文中，我们提出了一个半监督的拆卸框架VFED-SSD，以减轻这两个限制。我们确定：i）广告系统中有大量未标记的重叠数据，ii）我们可以通过分解联合模型来保持模型性能和推理成本之间的平衡。具体而言，我们开发了一个自制任务匹配的配对检测（MPD），以利用垂直分区的未标记数据并提出拆分知识蒸馏（SplitKD）架构，以避免跨机构服务。对三个工业数据集的实证研究表现出我们方法的有效性，在本地部署模式和联合部署模式下，所有数据集的中位数AUC分别提高了0.86％和2.6％。总体而言，我们的框架为实时展示广告提供了一种有效的联邦增强解决方案，其部署成本和大量绩效提升。
translated by 谷歌翻译
变压器模型在处理各种视觉任务方面表现出了有希望的有效性。但是，与训练卷积神经网络（CNN）模型相比，训练视觉变压器（VIT）模型更加困难，并且依赖于大规模训练集。为了解释这一观察结果，我们做出了一个假设，即\ textit {vit模型在捕获图像的高频组件方面的有效性较小，而不是CNN模型}，并通过频率分析对其进行验证。受这一发现的启发，我们首先研究了现有技术从新的频率角度改进VIT模型的影响，并发现某些技术（例如，randaugment）的成功可以归因于高频组件的更好使用。然后，为了补偿这种不足的VIT模型能力，我们提出了HAT，该HAT可以通过对抗训练直接增强图像的高频组成部分。我们表明，HAT可以始终如一地提高各种VIT模型的性能（例如VIT-B的 +1.2％，Swin-B的 +0.5％），尤其是提高了仅使用Imagenet-的高级模型Volo-D5至87.3％ 1K数据，并且优势也可以维持在分发数据的数据上，并转移到下游任务。该代码可在以下网址获得：https：//github.com/jiawangbai/hat。
translated by 谷歌翻译
2021-12-07
获得训练有素的模型涉及昂贵的数据收集和培训程序，因此该模型是有价值的知识产权。最近的研究表明，即使在没有培训样本，也可以“窃取”部署模型，无法访问模型参数或结构。目前，有一些防御方法可以减轻这种威胁，主要是提高模型窃取的成本。在本文中，我们通过验证可疑模型是否包含对Defender指定的知识{外部特征}来探讨其他角度的防御。具体而言，我们通过用风格的转移回火，嵌入外部特征。然后，我们培训一个元分类器以确定模型是否从受害者中偷走。这种方法是通过了解偷窃模型应该包含受害者模型学习的特征知识的启发。我们在Cifar-10和Imagenet数据集中检查我们的方法。实验结果表明，即使通过多级窃取过程获得被盗模型，我们的方法在同时检测不同类型的模型窃取。再现主要结果的代码可在Github（https://github.com/zlh-thu/stealing验证）上获得。
translated by 谷歌翻译
对逆势实例的研究，对抗性鲁棒性得到了越来越关注。到目前为止，现有的作品表明，强大的模型不仅可以获得针对各种对抗攻击的鲁棒性，而且还可以提高一些下游任务中的性能。然而，对抗性鲁棒性的潜在机制仍然不明确。在本文中，从线性组分的角度解释对抗性鲁棒性，并发现存在一些统计特性的全面鲁棒模型。具体地，在删除或更换所有非线性组件（例如，批量标准化，最大池或激活层）时，鲁棒模型对其线性化子网显示了明显的分层聚类效果。根据这些观察，我们提出了对对抗性稳健性的新颖理解，并将其应用于包括领域适应和稳健性提升的更多任务。实验评估展示了我们拟议的聚类策略的合理性和优越性。
translated by 谷歌翻译